El quinto problema de Hilbert (uno de los conocidos como veintitrés Problemas de Hilbert, publicados en 1900 por el matemático alemán David Hilbert), se refiere a la caracterización de Grupo de Lie.
La teoría de los grupos de Lie describe la simetría continua en matemáticas; su importancia en este campo y en física teórica (por ejemplo, en la investigación sobre quarks) creció de manera constante en el siglo XX. En términos generales, la teoría de grupos de Lie es el terreno común de la teoría de grupos y la teoría de variedades topológicas. La pregunta que hizo Hilbert se centró con precisión en la cuestión siguiente:
La respuesta esperada fue negativa (los grupos clásicos, los ejemplos más centrales en la teoría de grupos de Lie, son variedades suaves). Esto finalmente se confirmó a principios de la década de 1950. Dado que Hilbert no disponía de la noción precisa de "variedad", hay lugar para cierto debate sobre la formulación del problema en el lenguaje matemático contemporáneo.